import argparse
import sys

def parse_args():
    parser = argparse.ArgumentParser("")
    parser.add_argument("--input", type=str,required=True)
    parser.add_argument("--output", type=str,required=True)
    return parser.parse_args()
def main():
    args=parse_args()
    # 读取数据文件
    # 打开原始数据文件和写入文件
    with open(args.input, 'r') as input_file, open(args.output, 'w') as output_file:
        # 创建一个集合来保存已经出现过的索引
        seen_indexes = set()
        
        # 逐行读取原始数据文件
        for line in input_file:
            # 以前两列作为索引
            index = '||'.join(line.split()[:1])
            words = line.strip().split('\t')
            if len(words)!=17:
                print('error!!!')
                continue            
            
            # 如果索引第一次出现，则写入新文件，并将该索引加入到已出现的集合中
            if index not in seen_indexes:
                output_file.write(line)
                seen_indexes.add(index)


if __name__ == '__main__':
    sys.exit(main())